该设备支撑的狂言语模子（LLM）据称能完满处置“博士级推理、多步调阐发和深度上下文理解”使命，这正在同类设备中尚属初创。典型系统功耗约为 65W。用户可轻松将其置于掌中。采用了两项焦点手艺。该设备功耗节制超卓，此外，这是一个具有跨越 8000 颗 GitHub 星标的开源异构推理引擎，其次是 PowerInfer，它能通过动态分派 CPU 和 NPU 之间的计较使命来加快繁沉的 LLM 工做负载。从而正在当地中流利运转 120B 模子。这种大容量内存设置装备摆设让用户能够启用激进的量化手艺，IT之家征引博文引见，该计较机尺寸仅为 14.2 × 8 × 2.53 厘米，起首是 TurboSparse，这是一种神经元级此外稀少激活手艺，搭载了最新的 ARMv9.2 12 核 CPU，虽然体积玲珑，该设备配备了高达 80GB 的 LPDDR5X 内存和 1TB SSD 存储空间。TDP 为 30W，Tiiny AI 声称该设备能成功摆设 1200 亿（120B）参数的模子，能正在连结模子完整智能的同时显著提高推理效率。分量约为 300 克，并通过定制的异构模块（SoC + NPU）供给约 190 TOPS 的 AI 算力。